package TestSparkConversionOperator;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;

import java.util.ArrayList;
import java.util.List;

public class SparkDemoApp {
    public static void main(String[] args) {
        // 创建一个sparConf类型的对象(spark配置对象)
        // 调用spark配置对象的setAppName(),设置任务的名字
        // 调用spark配置对象setMaster()
        SparkConf sparkConf = new SparkConf().setAppName("spark demo").setMaster(args[0]);
        // 创建一个JavaSparkContext类型的对象,需要将上面创建的SparkConf传递进来
        JavaSparkContext sc  = new JavaSparkContext(sparkConf);
//        // 调用JavaSparkContext对象的textFile方法,读指定文件
//        JavaRDD<String> srcRdd = sc.textFile("hdfs://20200317036-hadoop1:9000/hello.txt");
//        srcRdd.foreach(new VoidFunction<String>() {
//            @Override
//            public void call(String s) throws Exception {
//                System.out.println(s);
//            }
//        });
        // 创建一个list对象
        List<String> data = new ArrayList<>();
        data.add("hello spark");
        data.add("hello spark2");
        data.add("hello spark3");

        // parallelize 创建RDD 也就是将List转成RDD

    }
}
